Introductie in Web Scraping
Bèr berkes Kessels
berkes KesselsWeb-scraping is een techniek waarbij software automatisch gegevens van websites verzamelt door de HTML-structuur van de pagina te analyseren en specifieke informatie te extraheren. Het wordt vaak gebruikt voor taken zoals het ophalen van nieuwsartikelen, het verzamelen van productprijzen of het analyseren van concurrenten op het web.
Van simpel tot complex.
Alles wat HTTP kent of kan.
XPATH
CSS selectors
Goede HTML (bijna nooit)
HTML parsers nodig
Selector vinden en debuggen met developer tools.
Addons of volledige IDEs om dit te vereenvoudigen.
Xpath is erg compleet. Kan bijna alles
CSS selectors zijn eenvoudiger maar ingwikkelder dingen zijn meteen heel moeilijk.
Balanceeract tussen fragiel en robuust